Tōgō sinh ngày 27 tháng 1 năm 1848 (lịch dương) ở quận Kachiyacho, thành phố Kagoshima, phiên bang Satsuma (hiện nay là tỉnh Kagoshima) ở nước Nhật thời phong kiến. Cha ông là một Samurai, người phục vụ cho thị tộc Shimazu, Tōgō có ba người anh em.

Kachiyacho là một trong những quận sinh sống của chiến binh samurai tại thành phố Kagoshima, trong đó rất nhiều nhân vật lừng danh khác của thời kỳ Minh Trị từng được sinh ra tại đây như Saigō Takamori và Okubo Toshimichi. Họ đã vươn lên thành những nhân vật then chốt dưới thời Thiên hoàng Minh Trị, một phần vì thị tộc Shimazu là một lực lượng quân sự hùng mạnh cũng như những yếu tố về chính trị trong chiến tranh Mậu Thìn chống lại Mạc phủ Tokugawa (Đức Xuyên Mạc phủ) và cả những yếu tố chính trị trong cuộc Minh Trị duy tân.